主动记忆召回中的规模代价:误报随记忆库增大的幂律恶化与控制
🧭 Agent 长期记忆主动召回 ★ 深度解读
Zhejiang Sci-Tech University
证明主动召回门控的误报率随存储规模幂律上升,提出免标签 conformal 门控并验证其控制误报
📌 工作参考价值(4 点)
- 做主动 push/选品/召回时不要用固定相似度阈值:先对每个用户/上下文做 per-cue z-score 标准化,再让阈值随候选池 N 增长;embedding 分数用 √(2 ln N) 量级,词法 tf-idf 用 ln N 更快,否则 N 从几十到几千误报会从 5% 飙到 80%+。
- 无标签门控可直接落地:用用户历史 session/消息作为 reference,对当前候选打分,计算 conformal p-value(rank = (1 + #{ref ≥ current})/(K+1)),设定 α=0.05 即有有限样本 FPR 保证;适合 push 文案/商品/消息的发送决策,无需标注是否打扰。
- 两阶段 LLM judge 值得用:先用向量/词法召回 top-5 候选,再让 LLM 读候选判断是否打扰/相关;在 N=2048 时 14B judge 达到 28% hit@4% FA,优于纯相似度 gate,但延迟和成本更高,且要确保召回覆盖(top5 含 evidence 仅 36%-65%)。
- 容量受表示分离度限制,投入 embedding 质量/多模态上下文比堆更多记忆更划算:binormal 模型下容量随分离度平方指数增长;当候选池极大且 score 分布重叠大时,可控误报下的命中率会掉到个位数。
风险受控的 KV Cache 淘汰:从内存预算到风险目标
🧭 LLM 推理 · KV cache 风险控制
Department of Artificial Intelligence, Korea University
将 KV cache 淘汰重新定义为部署风险控制,用事后认证选择保留策略并按需回退全 KV
📌 工作参考价值(4 点)
- 在电商/广告线上长上下文 LLM 服务(商品详情问答、评论总结、Agent 长时记忆)中,用风险预算替代平均精度来选择 KV cache 压缩策略:按业务可容忍的退化概率(如 5%)和置信度进行校准,只上线被认证的策略,避免长尾请求质量事故。
- 引入全 KV fallback 机制:当校准集上没有任何压缩策略通过风险认证(例如高难度长上下文任务),自动回退到不压缩,保障最坏情况体验,可作为线上安全网。
- 离线评测时不要只看平均退化率,要报告有限样本认证的风险上界;对于固定内存预算方法,认证可能显示需要多保留 5-10 个百分点的 KV cache,帮助更稳健地设置内存配额。
- 该方法是 compressor-agnostic 的,可与任意 KV 淘汰算法结合,适合在现有推理加速框架上低成本包装为上线前认证流程。
目标泄漏而非模型类别解释心血管筛查报告准确率:玻璃盒与表格基础模型泄漏分层审计
🧭 表格模型评估与目标泄漏审计
Data Science and AI Cluster, XU Exponential University of Applied Sciences, Potsdam, Germany · German University of Digital Science, Potsdam, Germany · College of Engineering, Abu Dhabi University, Abu Dhabi, United Arab Emirates · College of Technological Innovation, Zayed University, Abu Dhabi, United Arab Emirates · Cleveland Clinic Hospital, Abu Dhabi, United Arab Emirates
十个分类器在44万样本审计显示,移除两个诊断后特征使所有模型AUROC下降约0.05并收敛至0.0045带宽,性能差距来自特征泄漏而非模型架构
📌 工作参考价值(4 点)
- 建立泄漏分层特征审计:把与标签有因果/后诊断关系的特征按泄漏风险分层,观察移除后所有模型 AUC 的同步下降,电商推荐里类似“用户已加购/购买后的行为特征”会带来虚假 recall,需要消融区分特征贡献与模型能力。
- 玻璃盒模型(EBM)在表格任务上精度可非劣于复杂模型且推理快约两个数量级,适合线上排序/召回候选生成中低延迟且可解释的模块,不必为微小 AUROC 提升引入大模型。
- 部署前用冻结阈值跨时间/跨人群验证:推荐/广告模型在增量训练前先在下一时段数据上做 transport 检查,避免只看离线 AUC;对性别/年龄等分人群使用 Mondrian conformal 或分组校准修复覆盖率差异。
- 阈值公平性要在固定业务阈值下审计,而非只看全局 AUC;排序/推荐里对曝光阈值、推送文案的覆盖差异做 subgroup 召回/精确率检查,利用可解释模型的 shape function 编辑实现可审计修复。
面向分布外推荐的生成式反事实对齐与风险控制选择
🧭 OOD 推荐 · 反事实生成 + 保形 FDR 控制 ★ 深度解读
Southern University of Science and Technology · University of Pennsylvania
提出 GenCAR:离线用 LLM 生成反事实候选并微调排序模型,在线用 conformal+BH 控制 proxy-label FDR,不调用 LLM 提升 OOD 推荐恢复
📌 工作参考价值(4 点)
- LLM 离线反事实样本生成:在场景变化(大促、季节、推荐位策略)前,用 LLM 基于用户 stable preference anchors 生成目标环境候选,通过 trust radius 过滤后微调精排模型,避免在线 LLM 成本。
- 风险控制的选择层:借鉴 conformal p-values + BH/BY 对推荐集合做 FDR 控制,按批次决定输出数量;允许空列表相当于“不推荐”,适合付费/敏感场景(广告、消息推送、商品推荐)的体验保障。
- 偏好-环境解耦的 SCM 架构:将用户 embedding 分解为 stable preference 和 environment 两部分,只更新 item embedding 进行反事实微调,可稳定适配环境变化,适合流量分布频繁变化的业务。
- 轻量对齐预测器替代在线 LLM:用 LLM 生成的 proxy label 训练一个 MLP/score head,在线只计算 embedding 得分,既保留语义对齐信号又保证 <1ms 延迟。
漏斗感知的转化-营收联合 uplift 建模与多层级优惠券分配
🧭 多臂 uplift · 漏斗耦合 + 预算分配 ★ 深度解读
AMap Alibaba Group
硬耦合转化概率与条件价值的漏斗结构,配套预算分配与审计不确定性层
📌 工作参考价值(4 点)
- GMV 目标建议改成硬漏斗:mu_gmv = mu_conv * mu_val,用 BCE 训练转化头、转化者子集上 log(1+GMV) MSE 训练价值头;在转化率 4.6%–45.4% 的零膨胀优惠券场景,比直接 GMV 回归的 PEHE 低 18–48%。
- 不要用 narrow-α conformal 下界驱动预算分配,重尾/零膨胀下容易塌缩成全不发券;优先用 RCT 臂均值锚定后的点估计输入 Lagrangian 分配器,或把 α 放宽到 0.10–0.20。
- 离线评估多臂补贴策略时,建议扫 LP 前沿或 EOM 曲线,得到 (ΔGMV%, ΔROI) 完整 tradeoff,而不是只看单点 AUUC;策略匹配子集上用 Hájek IPW 估计更贴近 RCT 日志。
- 若漏斗日志模糊或异步,可换 soft penalty;但在支持关系确定、零膨胀严重的真实 RCT 场景,硬耦合更稳。共享表示可能带来跨头协方差,理论方差优势只能当 regime heuristic。
面向流媒体广告投放 pacing 的决策校准 conformal 不确定性
🧭 广告投放 pacing · 决策校准不确定性量化 ★ 深度解读
Embry-Riddle Aeronautical University
通过投影预测误差至策略价值/约束方向而非全库存空间,实现更紧凑的 pacing 鲁棒认证半径,避免过度保守。
📌 工作参考价值(4 点)
- 决策无关方向的噪声不应当约束投放决策:将库存预测误差投影到 pacing 策略目录的敏感方向(价值、配送、预算、体验负载)后再校准半径,可大幅缩小不确定性集,避免为无关维度预留松弛,直接用于实时竞价或预算分配的鲁棒控制。
- 预测模型选型应依据“决策半径”而非 MAE:实验表明,最低测试 MAE 的模型不一定给出最小 pacing 半径,季节性岭回归在 Criteo 上的半径(17.7)比 Transformer(481.0 MAE 最小)更小,指导工程选型时需在验证集上计算决策相关的 conformal 分位数,而非只看预测损失。
- conformal 校准可嵌入现有的“预测-优化”管道:文中 split-conformal 仅需历史校准块,无需修改预测器,可直接用于电商广告 budget pacing、个性化推荐曝光控制等场景,对已有 forecast 模块做轻量级包装,输出鲁棒策略或未解决短名单,提升决策可靠性。
- 鲁棒优化与 conformal 半径结合可作为安全阀:当 conformal 半径施加后,策略目录中无可行解时自动返回“未解决”状态,避免执行高违规风险策略,这种机制可以用于防止超投、超预算或用户体验恶化,适合有严格约束的广告系统。
偏度自适应共形预测
🧭 局部偏度自适应的共形预测区间
Insper Institute of Education and Research · Federal University of São Carlos
提出偏度自适应共形预测方法,通过不对称区间和逆双曲正弦变换学习局部偏度,提升预测区间效率。
📌 工作参考价值(4 点)
- 电商销量、转化率等回归目标常呈偏态分布,利用局部偏度建模可构建更紧的预测区间,提升业务决策可靠性。
- 逆双曲正弦变换处理带符号残差,作为额外模型训练目标,巧妙提取偏度信息,可复用到类似的不确定性量化任务。
- 提出的校准样本宽度比估计量能在离线评估时预估线上区间宽度改善,无需测试集,适合线上模型迭代。
- 方法基于拆分共形预测,保持有限样本边际有效性,可与任意点预测模型组合,工程实现简单,适合高灵活性的ML系统。